减少斑点并限制合成孔径雷达(SAR)图像中物理参数的变化通常是完全利用此类数据潜力的关键步骤。如今,深度学习方法产生了最新的现状,从而导致单位SAR修复。然而,现在经常可用巨大的多阶梯堆栈,并且可以有效利用以进一步提高图像质量。本文探讨了两种快速的策略,这些策略采用单像伪装算法,即SAR2SAR,在多个阶段的框架中。第一个是基于Quegan过滤器,并取代了SAR2SAR的局部反射率预估计。第二个使用SAR2SAR来抑制从“超级图像”的形式(即时间序列的时间算术平均值)形式的形式编码多个时间段信息的比率图像中抑制斑点。 Sentinel-1 GRD数据的实验结果表明,这两种多时间策略提供了改进的过滤结果,同时增加了有限的计算成本。
translated by 谷歌翻译
斑点过滤通常是分析合成孔径雷达(SAR)图像的先决条件。在单像伪装的领域取得了巨大进步。最新技术依靠深度神经网络来恢复SAR图像特有的各种结构和纹理。 SAR图像的时间序列的可用性提供了通过在同一区域结合不同斑点实现来改善斑点过滤的可能性。深度神经网络的监督培训需要无基真斑点图像。这样的图像只能通过某种平均形式,空间或时间整合间接获得,并且不完美。考虑到通过多阶段斑点滤波可以达到非常高质量的恢复的潜力,需要规避地面真相图像的局限性。我们将最新的自我监督训练策略扩展到了称为Merlin的单外观复杂SAR图像的情况,以进行多个颞滤波。这需要对空间和时间维度以及复杂幅度的真实组件和虚构组件之间的统计依赖性来源进行建模。使用模拟斑点上的数据集进行定量分析表明,当包括其他SAR图像时,斑点减少了明显改善。然后,将我们的方法应用于Terrasar-X图像的堆栈,并显示出优于竞争的多阶段斑点滤波方法。在$ \ href {https://gitlab.telecom-paris.fr/ring/multi-temporal-merlin/} {\ text {gitlab}} $上LTCI实验室,T \'El \'Ecom Paris Institut Polytechnique de Paris。
translated by 谷歌翻译
稀疏的盲源分离(BSS)已成为广泛应用的成熟工具 - 例如,在天体物理学和遥感中。古典稀疏BSS方法,例如近端交替线性化最小化(Palm)算法,然而经常遭受困难的封路数据计选择,其破坏了它们的结果。为了绕过这个陷阱,我们建议在这项工作中建立在展开/展开的历程中的繁荣领域。通过学习Palm HyperParameters和变量,展开手掌可以利用从现实模拟或地面真实数据中源的数据驱动的知识。与大多数现有的展开算法相比,在训练和测试阶段之前假设一个固定的已知字典,本文进一步强调处理可变混合矩阵(A.k.a.字典)。因此,提出的学习棕榈(LPALM)算法使得能够执行半盲源分离,这是增加现实世界应用中学习模型的概括的关键。我们说明了LPALM在天体物理多光谱成像中的相关性:算法不仅需要高达10美元的迭代率,而且还提高了分离质量,同时避免了繁琐的高参数和初始化的手掌选择。我们进一步表明,LPALM在半盲设置中优于其他展开的源分离方法。
translated by 谷歌翻译
斑点波动严重限制了合成孔径雷达(SAR)图像的可解释性。因此,散斑减少是跨越至少四十年的众多作品的主题。基于深度神经网络的技术最近在SAR图像恢复质量方面实现了一种新的性能。超出了合适的网络架构的设计或选择足够的损失功能,培训集的构建是最重要的。到目前为止,大多数方法都考虑了监督培训策略:培训网络以产生尽可能靠近斑点的参考图像的输出。无斑点图像通常不可用,这需要采用自然或光学图像或在长时间序列中选择稳定区域,以规避缺乏地面真理。另一方面,自我监督避免使用无斑点图像。我们介绍了一个自我监督的战略,基于单眼复杂的SAR图像的真实和虚构部分的分离,称为Merlin(复杂的自我监督的机除),并表明它提供了一种培训各种深度掠夺的直接途径网络。由于特定于给定传感器和成像模式的SAR传输功能,使用Merlin培训的网络考虑了空间相关性。通过只需要一个图像,并且可能利用大型档案,Merlin将门打开了无忧无虑的机器,以及对机器网络的大规模培训。培训型号的代码是在https://gitlab.telecom-paris.fr/ring/mollin的。
translated by 谷歌翻译
We present a differentiable formulation of rigid-body contact dynamics for objects and robots represented as compositions of convex primitives. Existing optimization-based approaches simulating contact between convex primitives rely on a bilevel formulation that separates collision detection and contact simulation. These approaches are unreliable in realistic contact simulation scenarios because isolating the collision detection problem introduces contact location non-uniqueness. Our approach combines contact simulation and collision detection into a unified single-level optimization problem. This disambiguates the collision detection problem in a physics-informed manner. Compared to previous differentiable simulation approaches, our formulation features improved simulation robustness and a reduction in computational complexity by more than an order of magnitude. We illustrate the contact and collision differentiability on a robotic manipulation task requiring optimization-through-contact. We provide a numerically efficient implementation of our formulation in the Julia language called Silico.jl.
translated by 谷歌翻译
Humans form mental images of 3D scenes to support counterfactual imagination, planning, and motor control. Our abilities to predict the appearance and affordance of the scene from previously unobserved viewpoints aid us in performing manipulation tasks (e.g., 6-DoF kitting) with a level of ease that is currently out of reach for existing robot learning frameworks. In this work, we aim to build artificial systems that can analogously plan actions on top of imagined images. To this end, we introduce Mental Imagery for Robotic Affordances (MIRA), an action reasoning framework that optimizes actions with novel-view synthesis and affordance prediction in the loop. Given a set of 2D RGB images, MIRA builds a consistent 3D scene representation, through which we synthesize novel orthographic views amenable to pixel-wise affordances prediction for action optimization. We illustrate how this optimization process enables us to generalize to unseen out-of-plane rotations for 6-DoF robotic manipulation tasks given a limited number of demonstrations, paving the way toward machines that autonomously learn to understand the world around them for planning actions.
translated by 谷歌翻译
Deep Learning models are easily disturbed by variations in the input images that were not seen during training, resulting in unpredictable behaviours. Such Out-of-Distribution (OOD) images represent a significant challenge in the context of medical image analysis, where the range of possible abnormalities is extremely wide, including artifacts, unseen pathologies, or different imaging protocols. In this work, we evaluate various uncertainty frameworks to detect OOD inputs in the context of Multiple Sclerosis lesions segmentation. By implementing a comprehensive evaluation scheme including 14 sources of OOD of various nature and strength, we show that methods relying on the predictive uncertainty of binary segmentation models often fails in detecting outlying inputs. On the contrary, learning to segment anatomical labels alongside lesions highly improves the ability to detect OOD inputs.
translated by 谷歌翻译
深度神经网络已成为3D医学图像自动分割的金标准方法。然而,由于缺乏对所提供的结果评估可理解的不确定性评估,他们被临床医生的全部接受仍然受到阻碍。量化其不确定性的大多数方法,例如流行的蒙特卡洛辍学物,仅限于在体素水平上预测的某种不确定性度量。除了与真正的医学不确定性无关紧要之外,这在临床上并不令人满意,因为大多数感兴趣的对象(例如,脑部病变)是由素食组成的,其整体相关性可能不会简单地减少其个人不确定性的总和或平均值。在这项工作中,我们建议使用创新的图形神经网络方法超越体素评估,并从蒙特卡洛辍学模型的输出中训练。该网络允许融合体素不确定性的三个估计量:熵,方差和模型的置信度;并且可以应用于任何病变,无论其形状或大小如何。我们证明了我们方法对多发性硬化病变的任务的不确定性估计的优势。
translated by 谷歌翻译
最近在无监督学习框架中为多元时间表制定代表性的努力。这种表示可以证明在活动识别,健康监测和异常检测等任务中有益。在本文中,我们考虑了一个设置,在该设置中,我们在动态图中观察到每个节点处的时间序列。我们提出了一个名为GraphTNC的框架,用于无监督的图表和时间序列的联合表示。我们的方法采用了对比度学习策略。基于一个假设,即时间序和图演进动力学是平滑的,我们确定了信号表现出近似平稳性的本地时间窗口。然后,我们训练一个编码,该编码允许在社区内分布非邻居信号的分布。我们首先使用合成数据证明了我们提出的框架的性能,随后我们证明它可以证明对使用现实世界数据集的分类任务有益。
translated by 谷歌翻译
已经证明,经过代码完成培训的大型语言模型(LLMS)能够合成DocStrings的简单Python程序[1]。我们发现这些代码编写的LLM可以被重新使用以编写机器人策略代码,给定自然语言命令。具体而言,策略代码可以表达处理感知输出的功能或反馈循环(例如,从对象检测器[2],[3])并参数化控制原始API。当作为输入提供了几个示例命令(格式为注释)后,然后是相应的策略代码(通过少量提示),LLMS可以接收新命令并自主重新编写API调用以分别生成新的策略代码。通过链接经典的逻辑结构并引用第三方库(例如,numpy,shapely)执行算术,以这种方式使用的LLM可以编写(i)(i)表现出空间几何推理的机器人策略,(ii)(ii)将其推广到新的说明和新指令和新指令和(iii)根据上下文(即行为常识)规定模棱两可的描述(例如“更快”)的精确值(例如,速度)。本文将代码作为策略介绍:语言模型生成程序的以机器人为中心的形式化(LMP),该程序可以代表反应性策略(例如阻抗控制器),以及基于Waypoint的策略(基于远见的选择,基于轨迹,基于轨迹,控制),在多个真实的机器人平台上展示。我们方法的核心是促使层次代码 - 代码(递归定义未定义的功能),该代码可以编写更复杂的代码,还可以改善最新的代码,以解决HOMANEVAL [1]基准中的39.8%的问题。代码和视频可从https://code-as-policies.github.io获得。
translated by 谷歌翻译